Tước hiệu Đại Công tước có từ [Megas doux] thời kỳ Đế quốc Byzantine. Trong lịch sử Byzantine, Megas doux là chức vị cao cấp trong biên chế quân đội. Chức vị này thành tước vị trong lịch sử Nga, lần đầu tiên dùng để chỉ [Velikiy Kniaz] từ thế kỉ 11, là tước hiệu của các vị vua của Kievan Rus', sau đó thành tước vị cho các lãnh đạo của người Rus'.

Khi Đại công quốc Moskva xuất hiện, Velikiy Kniaz là tước vị chung cho Vua của toàn bộ người Nga, cho đến khi Ivan IV của Nga dùng tước vị Tsar. Sau đó, Velikiy Kniaz hay Grand duke trở thành tước vị dành cho con trai hoặc cháu trai (thuộc nam hệ) của các vị Tsar, sau đó là Hoàng đế của Đế quốc Nga.

Ở Tây Âu, tước hiệu Grand duke xuất hiện đầu tiên để ám chỉ Đại công quốc Tuscany, một quốc gia có nền quân sự hùng mạnh và kinh tế vững chắc, nắm giữ tiềm lực mạnh song lại không thể lạm xưng làm Vương quốc. Tước vị này sinh ra vì các Duke vào thời Trung cổ đã mất đi sự tôn quý, chỉ cai quản các lãnh thổ nhỏ, và phần lớn là các chư hầu của Vương quốc.